近年来，深入的强化学习（RL）在各种组合搜索领域（例如两人游戏和科学发现）中都取得了成功。但是，直接在计划域中应用深度RL仍然具有挑战性。一个主要的困难是，如果没有人工制作的启发式功能，奖励信号除非学习框架发现任何解决方案计划，否则奖励信号将保持零。随着计划的最小长度的增长，搜索空间变为\ emph {指数更大}，这是计划实例的严重限制，该实例的计划最小计划长度为数百到数千步。以前的学习框架可以增强使用深神经网络和额外生成的子观念的图形搜索在各种具有挑战性的计划域中取得了成功。但是，生成有用的子目标需要广泛的领域知识。我们提出了一种独立于域的方法，该方法可以通过图值迭代来增强图形搜索，以求解针对域特有的求解器无法实现的硬计划实例。特别是，我们的方法还没有仅从发现的计划中获得学习信号，而是从未达到目标状态的失败尝试中学习。图值迭代组件可以利用本地搜索空间的图形结构并提供更有信息的学习信号。我们还展示了如何使用课程策略来平滑学习过程并对图形值迭代量表的完整分析并实现学习。
translated by 谷歌翻译
在极端分辨率上监测植被生产力对于现实世界中的农业应用非常有价值，例如检测作物压力和提供粮食不安全的预警。太阳能诱导的叶绿素荧光（SIF）提供了一种直接从空间中测量植物生产力的有希望的方法。但是，卫星SIF观察只能以粗空间分辨率进行，因此无法监视单个农作物类型或农场的表现。这构成了一个具有挑战性的粗略监督回归（或缩小）任务；在训练时，我们只有粗分辨率（3公里）的SIF标签，但我们希望以更精细的空间分辨率预测SIF（例如30m，增加了100倍）。我们还具有其他精细分辨率输入功能，但是这些功能与SIF之间的关系尚不清楚。为了解决这个问题，我们提出了一种粗糙的平滑U-NET（CS-Sunet），这是这种粗糙监督设置的新方法。 CS-Sunet基于先验知识（例如平滑度损失），将深卷卷网络的表达能力与新颖的正则化方法相结合，这对于防止过度拟合至关重要。实验表明，CS-Sunet比现有方法更准确地解决SIF中的细粒变化。
translated by 谷歌翻译
尽管实用的求解器在各种NP完整域中取得了成功，例如SAT和CSP以及使用深度强化学习来解决诸如GO之类的两人游戏，但某些类别的Pspace-Hard计划问题仍然遥不可及。由于硬实例的指数搜索空间，即使是精心设计的域专用求解器也可能会迅速失败。结合了传统搜索方法的最新作品，例如最佳优先搜索和蒙特卡洛树搜索，以及深度神经网络（DNN）的启发式方法，已经显示出有希望的进步，并且可以解决超出专业求解器以外的大量艰苦计划实例。为了更好地理解这些方法为何起作用，我们研究了基于DNN的最佳优先搜索的政策和价值网络的相互作用，并展示了该策略网络的惊人有效性，并通过价值网络进一步增强了价值网络，作为指导启发式的启发式启发式程序。搜索。为了进一步理解现象，我们研究了搜索算法的成本分布，发现索科巴实例可以具有重尾的运行时分布，左侧和右侧都有尾巴。特别是，我们首次展示了\ textit {左尾巴}的存在，并提出了一个抽象的树模型，可以从经验上解释这些尾巴的外观。该实验表明，政策网络是一种强大的启发式指导搜索的关键作用，这可以通过避免探索成倍的尺寸的子树来导致左尾部具有多项式缩放。我们的结果还证明了与传统组合求解器中广泛使用的随机重新启动的重要性，用于避免左和右重尾巴的基于DNN的搜索方法。
translated by 谷歌翻译
贝叶斯优化（BO）对评估昂贵的功能的全球优化表现出了巨大的希望，但是尽管取得了许多成功，但标准方法仍可能在高维度上挣扎。为了提高BO的性能，先前的工作建议将梯度信息纳入目标的高斯流程替代，从而产生了$ n $ nd $ nd $的内核矩阵，以$ d $ d $ dimensions中的$ n $观察。 na \“ intival”将这些矩阵乘以$ \ MATHCAL {o}（n^2d^2）$（resp。$ \ mathcal {o}（n^3d^3 $））的操作，它变成对于中等尺寸和样本量不可行。在这里，我们观察到众多的内核会产生结构化的矩阵，从而使精确的$ \ MATHCAL {O}（n^2d）$矩阵 - 矢量乘以梯度观察和$ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\ {o}（n^2d^2）$用于Hessian观察。除了规范内核类别之外，我们得出了一种程序化方法来利用这种类型的结构进行转换和讨论的内核类的组合，该类别构成了一种结构意识到的自动差异算法。我们的方法几乎适用于所有规范内核，并自动扩展到复杂的内核，例如神经网络，径向基函数网络和光谱混合物内核，而无需任何其他衍生物，可以在将一阶BO缩放到高度的同时，使其具有灵活的，问题依赖性的建模$ D $。
translated by 谷歌翻译
机器学习模型广泛用于现实世界应用，如文档分析和视野。受限机器学习问题是学习模型必须准确和尊重约束的问题。对于连续凸起的约束，已经提出了许多作品，但在组合限制下学习仍然是一个难题。本文的目标是通过将现有的工作纳入组合优化的现有工作来扩大受约束机器学习问题的建模能力。我们首先提出一个名为百吉饼（分支，生成和学习）的一般框架，该框架应用分支并绑定到受约束的学习问题，其中在每个节点上生成和培训学习问题，直到仅获得有效模型。由于机器学习具有特定要求，我们还提出了一个扩展的表约束来分割假设的空间。我们在两个示例中验证方法：配置约束下的线性回归和与潜在语义分析的先验知识的非负矩阵分解。
translated by 谷歌翻译
多标签分类（MLC）是一个预测任务，其中每个样本可以具有多个标签。我们提出了一种基于高斯混合变分性AutoEncoder（C-GMVAE）的新型对比度学习促进的多标签预测模型，其学习多模式现有空间并采用对比损耗。除了预测模块之外，许多现有方法引入了额外的复杂神经模块以捕获标签相关性。我们发现，通过在监督环境中使用对比学习，我们可以有效利用标签信息，并学习有意义的功能和标签嵌入，捕获标签相关性和预测功率，而无需额外的神经模块。我们的方法还采用了学习和对齐功能和标签的潜在空间的想法。 C-GMVAE对潜伏空间的高斯混合结构施加了高斯混合结构，以减轻后塌陷和过正规的问题，与先前的单峰的作品相比。 C-GMVAE优先于多个公共数据集上的现有方法，通常可以匹配其他模型的完整性能，只有50％的训练数据。此外，我们表明学习的嵌入提供了对标签标签交互的解释的见解。
translated by 谷歌翻译
气候变化对作物相关的疑虑构成了新的挑战，包括粮食不安全，供应稳定和经济规划。作为中央挑战之一，作物产量预测已成为机器学习领域的按压任务。尽管重要的是，预测任务是特别的复杂性，因为作物产量取决于天气，陆地，土壤质量等各种因素，以及它们的相互作用。近年来，在该域中成功应用了机器学习模型。然而，这些模型要么将他们的任务限制为相对较小的区域，或者只在单个或几年内进行研究，这使得它们难以在空间和时间上概括。在本文中，我们介绍了一种用于作物产量预测的新型图形的复发性神经网络，以纳入模型中的地理和时间知识，进一步提升预测力。我们的方法是在美国大陆的41个州的2000年历史上进行培训，验证和测试，从1981年到2019年覆盖了几年。据我们所知，这是第一种机器学习方法，可在作物产量预测中嵌入地理知识预测全国县级的作物产量。我们还通过应用众所周知的线性模型，基于树的模型，深度学习方法以及比较它们的性能来对与其他机器学习基线进行稳固的基础。实验表明，我们的提出方法始终如一地优于各种指标上现有的现有方法，验证地理空间和时间信息的有效性。
translated by 谷歌翻译
在计算机视觉和自然语言处理中，模型架构中的创新，提高模型容量的性能可靠地转化为性能增益。在与这种趋势的鲜明对比中，最先进的加强学习（RL）算法通常使用小的MLP，并且性能的增益通常来自算法创新。假设RL中的小型数据集需要简单的模型是很自然的，以避免过度装备;然而，这个假设是未经测试的。在本文中，我们调查RL代理商如何通过交换具有较大现代网络的小MLP，以跳过连接和标准化，专注于演员 - 评论家算法。我们经验验证，天真地采用这种架构导致不稳定和性能差，可能在实践中有助于简单模型的普及。但是，我们表明数据集大小不是限制因素，而是争辩说，不稳定性通过评论家占据渐变是罪魁祸首。我们证明光谱归一化（SN）可以减轻这个问题并使大型现代架构稳定训练。使用SN平滑后，较大的模型会产生显着的性能改进 - 表明除了算法创新外，通过专注于模型架构，可能拥有更多“简单”的收益。
translated by 谷歌翻译
人工智能（AI）启用的自主实验为加速科学发现提供了新的范式。非平衡材料合成是复杂，资源密集型实验的象征性，其加速将是物料发现和发展的流域。最近通过高吞吐量实验加速了非平衡合成相图的映射，但仍然限制了材料研究，因为参数空间太大而无法彻底探索。我们通过科学自主推理代理（SARA）管辖的分层自主实验，证明了加速的合成和促进亚稳材料。 SARA将机器人材料合成和表征与AI方法的层次集成，有效地揭示了处理相图的结构。 SARA设计横向梯度激光尖峰退火（LG-LSA）实验，用于平行材料合成，采用光学光谱速度迅速识别相转变。利用嵌套的主动学习（AL）周期实现了多维参数空间的高效探索，该嵌套主动学习模型包括实验的底层物理以及端到端的不确定性量化。有了这个，萨拉在多种尺度处的协调体现了复杂的科学任务的AI利用。我们通过自主映射综合映射_3 $ System的综合相位边界来展示其性能，导致幅度加速度，即建立一个合成相图，其中包括动力学稳定$ \ delta $ -bi $的条件_2 $ o $ _3 $在室温下，用于氧化固体氧化物燃料电池等电化学技术的关键开发。
translated by 谷歌翻译
Stress has a great effect on people's lives that can not be understated. While it can be good, since it helps humans to adapt to new and different situations, it can also be harmful when not dealt with properly, leading to chronic stress. The objective of this paper is developing a stress monitoring solution, that can be used in real life, while being able to tackle this challenge in a positive way. The SMILE data set was provided to team Anxolotl, and all it was needed was to develop a robust model. We developed a supervised learning model for classification in Python, presenting the final result of 64.1% in accuracy and a f1-score of 54.96%. The resulting solution stood the robustness test, presenting low variation between runs, which was a major point for it's possible integration in the Anxolotl app in the future.
translated by 谷歌翻译